我们提出了一种多层变量自动编码器方法,我们称为HR-VQVAE,该方法学习数据的层次离散表示。通过利用新的目标函数,HR-VQVAE中的每个层都通过量化的编码来学习从以前的层中的残差表示离散表示。此外,每一层的表示形式在层次上链接到以前的图层。我们评估了图像重建和生成任务的方法。实验结果表明,HR-VQVAE学到的离散表示使解码器能够比基线方法(即VQVAE和VQVAE-2)重建具有较小的变形的高质量图像。 HR-VQVAE还可以产生优于最先进的生成模型的高质量和多样化的图像,从而进一步验证学习表现的效率。 HR-VQVAE的层次结构性质i)减少了解码时间,使该方法特别适合高负载任务,ii)允许增加代码簿的大小而不会引起代码书折叠问题。
translated by 谷歌翻译